Graf kết hôn với Karoline Bretting ngày 26.5.1917. Họ có một người con gái Annemarie, cũng gọi là Annamirl, sinh ngày 13.6.1918. Năm 1944 Karoline Bretting đồng ý ly dị, cho phép Graf và Miriam Sachs kết hôn với nhau.[1] Miriam Sachs từ trần ngày 11.11.1959 Năm 1962 Graf kết hôn lần thứ 3 với Gisela Blauner.

Graf từ trần năm 1967 tại New York. Một năm sau ngày chết, bình tro hài cốt của ông được mang về chôn trong Nghĩa trang "Alter Bogenhausener Friedhof" ở München.